Vendargon dilahirkan pada 29 Ogos 1909 di Naranthanai di utara Ceylon.[1][2] Pada tahun 1910, Vendargon dan ibunya berhijrah ke Tanah Melayu, di mana ayahnya bekerja sebagai juruukur.[1] Berikutan Perang Dunia I meletus, Vendargon, adik-beradiknya dan ibunya kembali ke Ceylon.[1] Selepas perang, keluarga itu bersatu semula dengan bapa Vendargon di Seremban pada tahun 1919.[1] Keluarga itu berpindah ke Melaka pada tahun 1923.[1]

Vendargon dididik di Kolej St Patrick, Jaffna, Institusi St. Paul, Seremban dan Institusi St. Francis, Melaka.[1] Walaupun ayahnya mahu Vendargon menjadi seorang doktor, Vendargon menyertai Seminari St. Francis Xavier di Singapura pada tahun 1925 sebelum berpindah ke Seminari Tinggi Katolik di Pulau Pinang pada tahun 1927.[1]